Analise exploratória.¶
Introdução.¶
Este Jupyter Notebook investiga a base de dados de propriedades acústicas disponíveis no site http://www.primaryobjects.com/2016/06/22/identifying-the-gender-of-a-voice-using-machine-learning/
Objetivo da investigação é determinar as chances de algum algoritmo para detecção de gênero, seja por estatística tradicional ou por meio técnicas machine learning e redes neurais, possibilitando a implantação em dispositivos embarcados de baixo custo de memória e processamento restrito.
Propriedades acústicas medidas¶
As seguintes propriedades acústicas de cada voz são medidas:
- meanfreq : frequência média (em kHz) sobre as amostras compostas no sinal de arquivo de voz;
- sd : desvio padrão da frequência, sobre as amostras compostas no sinal de arquivo de voz;
- mediana : frequência mediana (em kHz) sobre as amostras compostas no sinal de arquivo de voz;
- Q25 : primeiro quantil (em kHz) sobre as amostras compostas no sinal de arquivo de voz;
- Q75 : terceiro quantil (em kHz) sobre as amostras compostas no sinal de arquivo de voz;
- IQR : intervalo interquartil (em kHz)sobre as amostras compostas no sinal de arquivo de voz;
- skew : média de assimetria da distribuição das frequências de vocal perdominante;
- kurt : curtose distribuição espectral da voz, domínio da frequência;
- sp.ent : entropia espectral, pureza da distribuição da voz em relação ao nível de ruído;
- sfm : nivelamento espectral, estima a planaridade de um espectro de frequência;
- modo : frequência de modo, ou seja, frequência dominante da voz;
- centrod : frequência central máxima visto no domínio da frequência;
- meanfun : média da frequência fundamental medida através do sinal acústico (Tonalidade base da voz);
- minfun : frequência fundamental mínima medida no sinal acústico (Tonalidade base da voz);
- maxfun : frequência fundamental máxima medida através do sinal acústico (Tonalidade base da voz);
- meandom : média da frequência dominante medida através do sinal acústico (média total das notas musicais mais graves da voz em relação ao sinal gravado);
- mindom : mínimo de frequência dominante medido através do sinal acústico;
- maxdom : máxima da frequência dominante medida através do sinal acústico;
- dfrange : faixa de frequência dominante medida através do sinal acústico;
- modindx : índice de modulação. Calculado como a diferença absoluta acumulada entre medições adjacentes de frequências fundamentais divididas pela faixa de frequência.
- label : rotulo de identificador da amostra em relação ao sexo, adicionado durante a gravação "male" ou "female".
Analise em python da base de propriedades acústicas.¶
In [1]:
%matplotlib inline
In [2]:
# Importa as bibliotecas
import pandas
import matplotlib.pyplot as plt
import numpy
#from pandas.tools.plotting import scatter_matrix
from pandas.plotting import scatter_matrix
import seaborn as sb
In [3]:
# Carrega os dados
url = ".\\baseDados\\voice.csv"
colunas = ["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx","label"]
dataset = pandas.read_csv(url, names=colunas, sep = ",")
In [4]:
# PANDAS: Verificando alguns dados
exemplos = dataset.head(2)
print(exemplos)
In [5]:
dataset.head()
Out[5]:
In [6]:
dataset.tail()
exemplos = dataset.tail(2)
print(exemplos)
Verifica valores nulos.¶
In [7]:
dfnull = dataset.isnull()
In [8]:
dfnull.head(3)
Out[8]:
In [9]:
dfnull.isnull().sum()
Out[9]:
Gerando gráfico com valores nulos.¶
In [10]:
#!pip install missingno
#!pip3 install missingno
import missingno as msno
msno.matrix(dataset,figsize=(12,5))
Out[10]:
Compara a dimensão da tabela original com nova tabela onde foi removidos os elementos nulos.¶
In [11]:
dfnull.dropna()
print(dfnull.shape)
In [12]:
# PANDAS: Verifica a dimensão dos dados (linhas, colunas)
dim = dataset.shape
print(dim)
Tabela sem elementos nulos tem a mesma dimenssão da tabela original, portanto a base não possui valores nulos.¶
Verifica os tipos de dados de cada atributo¶
In [13]:
dataset.info()
PANDAS: Verifica os tipos de dados de cada atributo.¶
In [14]:
tipos = dataset.dtypes
print(tipos)
Estatística descritiva¶
In [15]:
dataset.describe()
Out[15]:
Pandas: Estatística descritiva¶
In [16]:
pandas.set_option('display.width', 100)
pandas.set_option('precision', 3)
resultado = dataset.describe()
print(resultado)
In [17]:
dataset.describe().transpose()
Out[17]:
In [18]:
print(dataset.describe().transpose())
Variáveis Categóricas¶
In [19]:
contagem = dataset.groupby('label').size()
print(contagem)
In [20]:
sb.countplot('label',data=dataset)
plt.rcParams['figure.figsize'] = (10,5)
plt.show()
Em nossos dados exitem apenas um variável label que é Qualitativa Nominal sendo que demais são do tipo Quantitativa Contínua¶
In [21]:
dataset.dtypes
A = str(tipos)
A = A.replace('float64',"Quantitativa Contínua")
A = A.replace('object',"Qualitativa Nominal")
print(A)
Medidas Resumo Variáveis Quantitativas:¶
MEDIDAS DE POSIÇÃO: Moda, Média, Mediana, Percentís, Quartis.¶
Voltado na tabela temos:¶
MEDIDAS DE POSIÇÃO, já estão calculados na tabelas describe Media , Percentís, Quartis¶
Faltando calcular a Moda e Mediana sabendo a Mediana e a mesma medias Na colunaE o valor da coluna 50% da tabela.¶
A média é uma medida de tendência central que indica o valor onde estão concentrados os dados de um conjunto de valores, representando um valor significativo para o mesmo.
A mediana é o valor que separa a metade superior da metade inferior de uma distribuição de dados, ou o valor no centro da distribuição.
A moda é simples. Nada mais é que o valor que mais se repete dentro de um conjunto.
In [22]:
dataset.describe().transpose()
Out[22]:
Vamos calcular Moda e Mediana que faltam na tabela.¶
Moda¶
In [23]:
Modadic = {}
Medianaadic = {}
for x in colunas:
if x == "label":
continue
Modadic[x]=dataset[x].mode()[0]
Medianaadic[x]=dataset[x].median()
Calculado a moda e mediana e colocando em dicionário.¶
In [24]:
print(Modadic)
In [25]:
print(Medianaadic)
Transformando os resultados em data frame.¶
In [26]:
dfModa = pandas.DataFrame.from_dict(Modadic, orient="index").reset_index()
dfModa.columns = ["quantitativas","moda"]
dfModa.head()
Out[26]:
In [27]:
dfmediana = pandas.DataFrame.from_dict(Medianaadic, orient="index").reset_index()
dfmediana.columns = ["quantitativas","mediana"]
dfmediana.head()
Out[27]:
In [28]:
### usado para unir os dataframes.
df50porcento = pandas.DataFrame.from_dict(Medianaadic, orient="index").reset_index()
df50porcento.columns = ["quantitativas","50%"]
df50porcento.head()
Out[28]:
Montado em um único data frame.¶
In [29]:
dfmediaModa=pandas.merge(dfModa,dfmediana,how='left',on='quantitativas')
dfmediaModa=pandas.merge(dfmediaModa,df50porcento,how='left',on='quantitativas')
In [30]:
print(dfmediaModa)
MEDIDAS DE DISPERSÃO: Amplitude, Intervalo-Interquartil, Variância, Desvio Padrão, Coeficiente de Variação.¶
Finalidade: encontrar um valor que resuma a variabilidade de um conjunto de dados¶
A amplitude nada mais é do que a diferença entre o maior e o menor valor de um conjunto de dados. A variância é uma medida que expressa quanto os dados de um conjunto estão afastados de seu valor esperado. O desvio padrão também é uma medida de dispersão, que indica quanto os dados estão afastados da média.
O coeficiente de varição é usado para expressar a variabilidade dos dados estatísticos excluindo a influência da ordem de grandeza da variável.
Montar a tabela com todos dados estatísticos até agora.¶
In [31]:
dados_estatisticos = dataset.describe().transpose()
dados_estatisticos=pandas.merge(dfmediaModa,dados_estatisticos,how='right',on='50%')
print(dados_estatisticos)
dados_estatisticos
Out[31]:
Na tabela já temos os valores para Intervalo-Interquartil e Desvio Padrão , Resta calcularmos a Amplitude , Variância e, Coeficiente de Variação e Intervalo-Interquartil.¶
Amplitude.¶
In [32]:
print(dataset['meanfreq'].max() - dataset['meanfreq'].min())
In [ ]:
Variância.¶
In [33]:
print(dataset['meanfreq'].var())
O cálculo do coeficiente de variação é feito através da fórmula:
cv/
Onde, s → é o desvio padrão X ? → é a média dos dados CV → é o coeficiente de variação
Coeficiente de Variação.¶
In [34]:
print( (dataset['meanfreq'].std()/dataset['meanfreq'].mean()) * 100 )
Intervalo-Interquartil.¶
É a diferença entre o terceiro quartil e o primeiro quartil, ou seja, d= Q3-Q1
In [35]:
print(dataset['meanfreq'].quantile(q=0.75))
In [36]:
print(dataset['meanfreq'].quantile(q=0.25))
In [37]:
print(dataset['meanfreq'].quantile(q=0.75) - dataset['meanfreq'].quantile(q=0.25))
Operando todos cálculos: Amplitude,Variância, Coeficiente de Variação e Intervalo-Interquartil.¶
In [38]:
Amplitudedic = {}
Varianciadic = {}
CoeficienteVardic = {}
IntervaloInterquartildic = {}
for x in colunas:
if x == "label":
continue
Amplitudedic[x]=dataset[x].max() - dataset[x].min()
Varianciadic[x] = dataset[x].var()
CoeficienteVardic[x] = (dataset[x].std()/dataset[x].mean()) * 100
IntervaloInterquartildic[x] = dataset[x].quantile(q=0.75) - dataset[x].quantile(q=0.25)
Transfomando os resultados em dataframe.¶
In [39]:
dfAmplitude = pandas.DataFrame.from_dict(Amplitudedic, orient="index").reset_index()
dfAmplitude.columns = ["quantitativas","Amplitude"]
dfAmplitude.head()
Out[39]:
In [40]:
dfVariancia = pandas.DataFrame.from_dict(Varianciadic, orient="index").reset_index()
dfVariancia.columns = ["quantitativas","Variancia"]
dfVariancia.head()
Out[40]:
In [41]:
dfCoeficiente = pandas.DataFrame.from_dict(CoeficienteVardic, orient="index").reset_index()
dfCoeficiente.columns = ["quantitativas","Coef_Var_%"]
dfCoeficiente.head()
Out[41]:
In [42]:
IntervaloInterquartil = pandas.DataFrame.from_dict(IntervaloInterquartildic, orient="index").reset_index()
IntervaloInterquartil.columns = ["quantitativas","Intervalo_Interquartil"]
IntervaloInterquartil.head()
Out[42]:
Mesclando os resultados.¶
In [43]:
dfresultado_frame=pandas.merge(dfAmplitude,dfVariancia,how='right',on='quantitativas')
dfresultado_frame=pandas.merge(dfresultado_frame,dfCoeficiente,how='right',on='quantitativas')
dfresultado_frame=pandas.merge(dfresultado_frame,IntervaloInterquartil,how='right',on='quantitativas')
print(dfresultado_frame)
dfresultado_frame
Out[43]:
Mesclando os resultados com tabela de resumo estatístico.¶
In [44]:
dados_estatisticos=pandas.merge(dados_estatisticos,dfresultado_frame,how='right',on='quantitativas')
#dados_estatisticos[[quantitativas]]
#dados_estatisticos = dados_estatisticos.drop_duplicates()
print(dados_estatisticos)
#dados_estatisticos = dados_estatisticos[["quantitativas"]]
#print(dados_estatisticos)
dados_estatisticos
Out[44]:
ORGANIZAÇÃO E REPRESENTAÇÃO DOS DADOS¶
Tabela de freqüência: relaciona categorias (ou classes) de valores,juntamente com contagem (ou freqüências) do número de valores que se enquadram em cada categoria ou classe.
Variáveis qualitativas:¶
Temos apenas uma classe qualitativa a variável label fazendo a análise:¶
Tamanho do dataset.
In [45]:
print(dataset.shape)
Agrupar pela variável label.
In [46]:
contagem = dataset.groupby('label').size()
print(contagem)
Prepara os resultados.
In [47]:
print(contagem[['female']][0])
In [48]:
print(contagem[['male']][0])
In [49]:
total=contagem[['female']][0] + contagem[['male']][0]
In [50]:
print(total)
Calculando a frequência relativa. fr =fi / n ou seja contagem por classe sobre total somada dos valores de cada classe.¶
In [51]:
freqFRsexodic={}
freqFRsexodic['female']= contagem[['female']][0] / total
freqFRsexodic['male']= contagem[['male']][0] / total
freqFRsexodic['Total']= ( contagem[['female']][0] / total ) + ( contagem[['male']][0] / total)
In [52]:
freqFRsexodic
Out[52]:
Calculando a Frequência relativa percentual da categoria. fri% = fri * 100¶
In [53]:
freqFRpcsexodic={}
freqFRpcsexodic['female']= freqFRsexodic['female'] * 100
freqFRpcsexodic['male']= freqFRsexodic['male'] * 100
freqFRpcsexodic['Total']= freqFRsexodic['Total'] * 100
In [54]:
freqFRpcsexodic
Out[54]:
In [ ]:
In [55]:
freqsexodic={}
freqsexodic['female']=contagem[['female']][0]
freqsexodic['male']=contagem[['male']][0]
freqsexodic['Total']=total
In [56]:
freqsexodic
Out[56]:
Montado o drataframe com os resultados.¶
In [57]:
dffrequenciaSexo = pandas.DataFrame.from_dict(freqsexodic, orient="index").reset_index()
dffrequenciaSexo.columns = ["qualitivas","contagem"]
In [58]:
dffrequenciaSexoFR = pandas.DataFrame.from_dict(freqFRsexodic, orient="index").reset_index()
dffrequenciaSexoFR.columns = ["qualitivas","freqRelativa"]
In [59]:
dffrequenciaSexoFRpc = pandas.DataFrame.from_dict(freqFRpcsexodic, orient="index").reset_index()
dffrequenciaSexoFRpc.columns = ["qualitivas","freqRelativa%"]
In [60]:
dftabelaFreqQualitativas=pandas.merge(dffrequenciaSexo,dffrequenciaSexoFR,how='right',on='qualitivas')
dftabelaFreqQualitativas=pandas.merge(dftabelaFreqQualitativas,dffrequenciaSexoFRpc,how='right',on='qualitivas')
In [61]:
dftabelaFreqQualitativas
Out[61]:
In [62]:
print(dftabelaFreqQualitativas)
In [63]:
sb.countplot('label',data=dataset)
plt.rcParams['figure.figsize'] = (10,5)
plt.show()
Organização e representação de variáveis quantitativas: Quantitativas continuas:¶
Procedimento de construção de tabelas de freqüência para variáveis contínuas: h = \frac{A}{k}
- Escolha o número de intervalos de classe (k)
- Identifique o menor valor (MIN) e o valor máximo (MAX) dos dados.
- Calcule a amplitude dos dados (A): A=MAX –MIN
- Calcule o comprimento de cada intervalo de classe (h):
- Arredonde o valor de h de forma que seja obtido um número conveniente.
- Obtenha os limites de cada intervalo de classe.
- Construa uma tabela de freqüências, constituída pelas seguintes colunas: • Número de ordem de cada intervalo (i) • Limites de cada intervalo. Os intervalos são fechados á esquerda e aberta à direita: NOTAÇÃO:|----
Devido à complexidade (Muitas operações) dos cálculos vamos analisar via Histograma.¶
Uma forma de calcular via pandas, Tabela muito elevada no resultado.¶
In [64]:
pandas.DataFrame(dataset['meanfreq'].value_counts(normalize=True)).head()
Out[64]:
Histograma de freqüências relativas.¶
In [65]:
dataset.hist()
plt.rcParams['figure.figsize'] = (18,18)
plt.show()
Fracionado os histogramas¶
In [66]:
### Fracionado os histogramas
n=0
In [67]:
Part=dataset[colunas[n:n+9]]
n=n+9 -1
Part.hist()
Out[67]:
In [68]:
plt.rcParams['figure.figsize'] = (15,15)
plt.show()
Part=dataset[colunas[n:n+9]]
n=n+9
Part.hist()
Out[68]:
In [69]:
Part=dataset[colunas[n:n+9]]
plt.rcParams['figure.figsize'] = (10,10)
plt.show()
Part.hist()
Out[69]:
Histograma usando densidade de frequência e Assimetria da distribuição.¶
Assimetria da distribuição.¶
As = \frac{\mu3}{\sigma^{2}}
Dessa forma podemos classificar o coeficiente de assimetria da seguinte forma:
- Se As=0, distribuição é simétrica
- Se As>0, distribuição assimétrica a direita (positiva)
- Se As<0, distribuição assimétrica a esquerda (negativa) Fonte: Ferreira, D. F. Estatística Básica. Ed. UFLA, 2005. 664 p.
In [70]:
# PANDAS: Skew Assiemetria da distribuição
skew = dataset.skew()
print(skew)
In [ ]:
In [71]:
for y in colunas:
if y == "label":
continue
Income = sb.distplot(dataset[y])
plt.title("Distibuicao")
plt.rcParams['figure.figsize'] = (8,8)
plt.show(y)
MATPLOTLIB: Gráfico de densidade (univariado)¶
In [72]:
plt.rcParams['figure.figsize'] = (20,20)
dataset[colunas[0:10]].plot(kind='density', subplots=True, layout=(5,2), sharex=False)
plt.show()
In [73]:
# MATPLOTLIB: Gráfico de densidade (univariado)
plt.rcParams['figure.figsize'] = (20,20)
dataset[colunas[10:20]].plot(kind='density', subplots=True, layout=(5,2), sharex=False)
plt.show()
Calculando a curtose não-tendenciosa sobre o eixo solicitado usando a definição de curtose de Fisher (curtose de normal == 0,0). Normalizado por N-1:¶
A medida de curtose pode ser calculada da seguinte maneira:
k = \frac{\mu4}{\sigma^{4}}
De acordo com esta medida temos a seguinte classificação:
- k < 0, distribuição Platicúrtica
- k = 0, distribuição Mesocúrtica
- k > 0, distribuição Leptocúrtica
Fonte: Ferreira, D. F. Estatística Básica. Ed. UFLA, 2005. 664 p.
In [74]:
dataset.kurtosis()
Out[74]:
Interpretação: A assimetria da variável meanfun é 0.039. Este valor implica que a distribuição dos dados é levemente assimétrica a direita ou positivamente assimétrica. É assimétrica a direita, pois o coeficiente é positivo, e levemente, pois está próximo de zero. Para a curtose, o valor é -0.860, implicando que a distribuição dos dados é Platicúrtica, pois o valor de curtose é menor que 0.
Classifcações das distribuiçoes.¶
In [75]:
skew = dataset.skew()
curtose=dataset.kurtosis()
type(skew)
Out[75]:
Classifcações do tipo de curtose.¶
In [76]:
srcurtose = curtose.to_dict()
for x in srcurtose:
Z = srcurtose[x]
if Z > 0:
srcurtose[x] = 'Leptocúrtica'
if Z < 0:
srcurtose[x] = 'Platicúrtica'
if Z == 0:
srcurtose[x] = 'Mesocúrtica'
Classifcações do tipo de Assimetria.¶
Se As=0, distribuição é simétrica Se As>0, distribuição assimétrica a direita (positiva) Se As<0, distribuição assimétrica a esquerda (negativa) Fonte: Ferreira, D. F. Estatística Básica. Ed. UFLA, 2005. 664 p.
In [77]:
srskew = skew.to_dict()
for x in srskew:
Z = srskew[x]
if Z > 0:
srskew[x] = 'Assimétrica a direita'
if Z < 0:
srskew[x] = 'Assimétrica a esquerda'
if Z == 0:
srskew[x] = 'Simétrica'
In [78]:
frame = { 'Assimetria': skew, 'Curtose': curtose , 'CurtoseDescricao': srcurtose, 'AssimetriaCurtoseDescricao': srskew}
result = pandas.DataFrame(frame)
print(result)
result
Out[78]:
Boxplot¶
O BOXPLOT representa os dados através de um retângulo construído com os quartis e fornece informação sobre valores extremos.
In [79]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[0:6]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
In [80]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[6:6 * 2]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
In [81]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[6 *2 :6 * 3]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
In [82]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[6 *3 :6 * 4]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
Resultado Boxplot, verificamos a incidência de Observação exterior (discrepante ou atípica).¶
Esses dados serão tratados utilizando o desvio padrão: calculando o skewness: skewness = 3(média – mediana) / desvio padrão
In [83]:
# Carrega os dados
url = ".\\baseDados\\voice.csv"
colunas = ["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx","label"]
dataset = pandas.read_csv(url, names=colunas, sep = ",")
Primeiro caso.¶
In [84]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[0]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
dataset[colunas[0]].shape
Out[84]:
Esses dados serão tratados utilizando o desvio padrão:¶
calculando o skewness: skewness = 3(média – mediana) / desvio padrão
In [85]:
df_sem_Outliers= dataset[ numpy.abs(dataset[colunas[0]] - dataset[colunas[0]].mean() ) <= ( 3*dataset[colunas[0]].std()) ]
In [86]:
plt.rcParams['figure.figsize'] = (15,15)
df_sem_Outliers[colunas[0]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
df_sem_Outliers[colunas[0]].shape
Out[86]:
Possui ainda muitos ou valores discrepantes vamos o método de interquartil.¶
Definição da Wikipedia A gama interquartil ( IQR ), também chamado o midspread ou meio de 50% , ou tecnicamente H-propagação , é uma medida da dispersão estatística, sendo igual à diferença entre os percentis 75 e 25 de, ou entre os quartis superiores e inferiores, IQR = Q 3 - Q 1. Em outras palavras, o IQR é o primeiro quartil subtraído do terceiro quartil; esses quartis podem ser vistos claramente em um gráfico de caixa nos dados. É uma medida da dispersão semelhante ao desvio ou variância padrão, mas é muito mais robusta contra valores extremos.
In [87]:
Q1 = dataset[colunas[0]].quantile(0.25)
Q3 = dataset[colunas[0]].quantile(0.75)
IQR = Q3 - Q1
In [88]:
df_sem_Outliersx = dataset[colunas[0]][~((dataset[colunas[0]] < (Q1 - 1.5 * IQR)) | (dataset[colunas[0]]> (Q3 + 1.5 * IQR)))]
dataset[colunas[0]] = df_sem_Outliersx
dataset.head()
Out[88]:
In [89]:
plt.rcParams['figure.figsize'] = (15,15)
df_sem_Outliersx.plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
df_sem_Outliersx.shape
Out[89]:
Resultado melhorou com a técnica interquartil.¶
Fazendo nas todas variaveis por N vezes¶
In [90]:
dfgrafico_test = dataset
NV=6
for z in range(0,NV):
for y in colunas:
if y == "label":
continue
Q1 = dfgrafico_test[y].quantile(0.25)
Q3 = dfgrafico_test[y].quantile(0.75)
IQR = Q3 - Q1
df_sem_Outliersx = dfgrafico_test[y][~((dfgrafico_test[y] < (Q1 - 1.5 * IQR)) | (dfgrafico_test[y]> (Q3 + 1.5 * IQR)))]
dfgrafico_test[y] = df_sem_Outliersx
dfgrafico_test = dataset
for z in range(0,NV):
for y in colunas:
if y == "label":
continue
Q1 = dataset[y].quantile(0.25)
Q3 = dataset[y].quantile(0.75)
IQR = Q3 - Q1
df_sem_Outliersx = dataset[y][~((dataset[y] < (Q1 - 1.5 * IQR)) | (dataset[y]> (Q3 + 1.5 * IQR)))]
dataset[y] = df_sem_Outliersx
dataset=dataset.fillna(dataset.mean())
Valores discrepantes Foram removidos da base¶
In [91]:
dfgrafico_test.head()
Out[91]:
Analizando o grafio novamente de valorer faltantes antes de aplicar a media¶
In [92]:
msno.matrix(dfgrafico_test,figsize=(12,5))
Out[92]:
In [93]:
dfgrafico_test.isnull().sum()
Out[93]:
In [94]:
dataset = dataset.dropna()
print(dataset.shape)
Analizando o grafio do dataset aplicado a media nos valores faltantes.¶
In [95]:
msno.matrix(dataset,figsize=(12,5))
Out[95]:
Recalcular as classe qualitativas¶
In [96]:
sb.countplot('label',data=dataset)
plt.rcParams['figure.figsize'] = (10,5)
plt.show()
In [97]:
contagem = dataset.groupby('label').size()
print(contagem)
In [98]:
total=contagem[['female']][0] + contagem[['male']][0]
Calculando a frequência relativa. fr =fi / n ou seja contagem por classe sobre total somada dos valores de cada classe.¶
In [99]:
freqFRsexodic={}
freqFRsexodic['female']= contagem[['female']][0] / total
freqFRsexodic['male']= contagem[['male']][0] / total
freqFRsexodic['Total']= ( contagem[['female']][0] / total ) + ( contagem[['male']][0] / total)
Calculando a Frequência relativa percentual da categoria. fri% = fri * 100¶
In [100]:
freqFRpcsexodic={}
freqFRpcsexodic['female']= freqFRsexodic['female'] * 100
freqFRpcsexodic['male']= freqFRsexodic['male'] * 100
freqFRpcsexodic['Total']= freqFRsexodic['Total'] * 100
In [ ]:
In [101]:
freqsexodic={}
freqsexodic['female']=contagem[['female']][0]
freqsexodic['male']=contagem[['male']][0]
freqsexodic['Total']=total
Montado o drataframe com os resultados.¶
In [102]:
dffrequenciaSexo = pandas.DataFrame.from_dict(freqsexodic, orient="index").reset_index()
dffrequenciaSexo.columns = ["qualitivas","contagem"]
In [103]:
dffrequenciaSexoFR = pandas.DataFrame.from_dict(freqFRsexodic, orient="index").reset_index()
dffrequenciaSexoFR.columns = ["qualitivas","freqRelativa"]
In [ ]:
In [104]:
dffrequenciaSexoFRpc = pandas.DataFrame.from_dict(freqFRpcsexodic, orient="index").reset_index()
dffrequenciaSexoFRpc.columns = ["qualitivas","freqRelativa%"]
In [105]:
dftabelaFreqQualitativas=pandas.merge(dffrequenciaSexo,dffrequenciaSexoFR,how='right',on='qualitivas')
dftabelaFreqQualitativas=pandas.merge(dftabelaFreqQualitativas,dffrequenciaSexoFRpc,how='right',on='qualitivas')
In [106]:
dftabelaFreqQualitativas
Out[106]:
Resultado equilbrado entre homens e mulheres.¶
Refazendo boxplot.¶
O BOXPLOT representa os dados através de um retângulo construído com os quartis e fornece informação sobre valores extremos.
In [107]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[0:6]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
In [108]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[6:6 * 2]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
In [109]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[6 *2 :6 * 3]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
In [110]:
plt.rcParams['figure.figsize'] = (15,15)
dataset[colunas[6 *3 :6 * 4]].plot(kind='box', subplots=True, layout=(3,3), sharex=False, sharey=False)
plt.show()
Dataset depois de limpo ainda possui alguns Valores discrepantes.¶
Analisando a correlação das variáveis.¶
In [111]:
# PANDAS: Correlação
cor = dataset.corr(method='pearson')
print(cor)
In [112]:
sb.heatmap(cor, annot = True)
Out[112]:
In [ ]:
In [113]:
dfHomens = dataset[dataset["label"] == "male"]
dfMuheres = dataset[dataset["label"] == "female"]
In [114]:
###conferindo segmentação homens.
In [115]:
dfHomens.head(2)
Out[115]:
In [116]:
dfHomens.tail(2)
Out[116]:
In [117]:
###conferindo segmentação mulheres.
In [118]:
dfMuheres.head(2)
Out[118]:
In [119]:
dfMuheres.tail(2)
Out[119]:
In [120]:
## Correlação por seguimento.
In [121]:
# PANDAS: Correlação
Mcor = dfMuheres.corr(method='pearson')
print(Mcor)
In [122]:
# PANDAS: Correlação
Hcor = dfHomens.corr(method='pearson')
print(Hcor)
Homens¶
In [123]:
sb.heatmap(Hcor, annot = True)
Out[123]:
Mulheres¶
In [124]:
sb.heatmap(Mcor, annot = True)
Out[124]:
Não houve grandes diferenças por seguimento na correlação.¶
Finalização, Apos análises deparamos com valores discrepantes, no qual foram substituídos pela média, Os dados representam arquivos de áudio amostrado, o que pode ter sido gravo com auto indexe de ruído e outras interferências, a base limpa está salva, vamos para etapa de treinamento do modelo.¶
In [125]:
dataset.to_csv(".\\baseDados\\voice_fix.csv")
Gráfico de dispersão geral e por seguimento.¶
Geral dataset total.¶
In [126]:
# Gráfico de dispersão (multivariado)
scatter_matrix(dataset)
plt.rcParams['figure.figsize'] = (15,15)
plt.show()
Dataset Mulheres¶
In [127]:
# Gráfico de dispersão (multivariado)
scatter_matrix(dfMuheres)
plt.rcParams['figure.figsize'] = (15,15)
plt.show()
Dataset Homens¶
In [128]:
# Gráfico de dispersão (multivariado)
scatter_matrix(dfHomens)
plt.rcParams['figure.figsize'] = (15,15)
plt.show()
No gráfico de dispersão podemos encontrar correlações positivas frequentes entre as variáveis, isso é visto de forma clara no gráfico de vozes masculinas.¶
In [ ]:
Comparativo dos dados.¶
In [2]:
%matplotlib inline
In [23]:
# Importa as bibliotecas
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
#from pandas.tools.plotting import scatter_matrix
from pandas.plotting import scatter_matrix
import seaborn as sb
In [8]:
# Carrega os dados
url = ".\\baseDados\\voice_fix.csv"
#colunas = ["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx","label"]
dataset = pandas.read_csv(url, sep = ",")
In [9]:
dataset.head()
Out[9]:
In [11]:
dfHomens = dataset[dataset["label"] == "male"]
dfMuheres = dataset[dataset["label"] == "female"]
In [12]:
dfHomens.head()
Out[12]:
In [159]:
dfMuheres.head()
Out[159]:
Gráfico comparativo com valores máximos.¶
In [207]:
DadosMax = []
for x in colunas:
if x == "label":
continue
Linha =[]
Linha.append(dataset[x].max())
Linha.append(dfMuheres[x].max())
Linha.append(dfHomens[x].max())
DadosMax.append(Linha)
In [208]:
df = pd.DataFrame(DadosMax,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='Valores Maximos')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[208]:
Gráfico comparativo com valores mínimos.¶
In [209]:
DadosMin = []
for x in colunas:
if x == "label":
continue
Linha =[]
Linha.append(dataset[x].min())
Linha.append(dfMuheres[x].min())
Linha.append(dfHomens[x].min())
DadosMin.append(Linha)
In [210]:
df = pd.DataFrame(DadosMin,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='Valores Mínimos')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[210]:
Gráfico comparativo com valores média.¶
In [211]:
DadosMedia = []
for x in colunas:
if x == "label":
continue
Linha =[]
Linha.append(dataset[x].mean())
Linha.append(dfMuheres[x].mean())
Linha.append(dfHomens[x].mean())
DadosMedia.append(Linha)
In [212]:
df = pd.DataFrame(DadosMedia,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='Média')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[212]:
Gráfico comparativo com valores mediana.¶
In [ ]:
In [213]:
DadosMediana = []
for x in colunas:
if x == "label":
continue
Linha =[]
Linha.append(dataset[x].quantile(q=0.50))
Linha.append(dfMuheres[x].quantile(q=0.50))
Linha.append(dfHomens[x].quantile(q=0.50))
DadosMediana.append(Linha)
In [214]:
df = pd.DataFrame(DadosMediana,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='Mediana')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[214]:
Gráfico comparativo com valores Desvio padrão.¶
In [215]:
Dadosdp = []
for x in colunas:
if x == "label":
continue
Linha =[]
Linha.append(dataset[x].std())
Linha.append(dfMuheres[x].std())
Linha.append(dfHomens[x].std())
Dadosdp.append(Linha)
In [216]:
df = pd.DataFrame(Dadosdp,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='Desvio padrão')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[216]:
Gráfico comparativo com valores Variância.¶
In [217]:
Dadosvr = []
for x in colunas:
if x == "label":
continue
Linha =[]
Linha.append(dataset[x].var())
Linha.append(dfMuheres[x].var())
Linha.append(dfHomens[x].var())
Dadosvr.append(Linha)
In [204]:
df = pd.DataFrame(Dadosvr,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='Variância')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[204]:
Gráfico comparativo com valores Amplitude.¶
In [225]:
Dados = []
for x in colunas:
if x == "label":
continue
Linha =[]
G=dataset[x].max() - dataset[x].min()
M=dfMuheres[x].max() - dfMuheres[x].min()
H=dfHomens[x].max() - dfHomens[x].min()
Linha.append(G)
Linha.append(M)
Linha.append(H)
Dados.append(Linha)
In [226]:
df = pd.DataFrame(Dados,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='Amplitude')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[226]:
Gráfico comparativo com valores Moda.¶
In [231]:
Dados = []
for x in colunas:
if x == "label":
continue
Linha =[]
Linha.append(dataset[x].mode()[0])
Linha.append(dfMuheres[x].mode()[0])
Linha.append(dfHomens[x].mode()[0])
Dados.append(Linha)
In [232]:
df = pd.DataFrame(Dados,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='MODA')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[232]:
Gráfico comparativo com valores Coeficiente de variação.¶
In [235]:
Dados = []
for x in colunas:
if x == "label":
continue
Linha =[]
Linha.append((dataset[x].std()/dataset[x].mean()) * 100)
Linha.append((dfMuheres[x].std()/dfMuheres[x].mean()) * 100)
Linha.append((dfHomens[x].std()/dfHomens[x].mean()) * 100)
Dados.append(Linha)
In [236]:
df = pd.DataFrame(Dados,
index=["meanfreq","sd","median","Q25","Q75","IQR","skew","kurt","sp.ent","sfm","mode","centroid","meanfun","minfun","maxfun","meandom","mindom","maxdom","dfrange","modindx"],
columns=pd.Index(['Geral', 'Mulheres', 'Homens'],
name='Coeficiente de variação')).round(2)
df.plot(kind='bar',figsize=(15,8))
Out[236]:
